Synaptic scaling - an artificial neural network regularization inspired by nature

Nature has always inspired the human spirit and scientists frequently developed new methods based on observations from nature. Recent advances in imaging and sensing technology allow fascinating insights into biological neural processes. With the objective of finding new strategies to enhance the learning capabilities of neural networks, we focus on a phenomenon that is closely related to learning tasks and neural stability in biological neural networks, called homeostatic plasticity. Among the theories that have been developed to describe homeostatic plasticity, synaptic scaling has been found to be the most mature and applicable. We systematically discuss previous studies on the synaptic scaling theory and how they could be applied to artificial neural networks. Therefore, we utilize information theory to analytically evaluate how mutual information is affected by synaptic scaling. Based on these analytic findings, we propose two flavors in which synaptic scaling can be applied in the training process of simple and complex, feedforward, and recurrent neural networks. We compare our approach with state-of-the-art regularization techniques on standard benchmarks. We found that the proposed method yields the lowest error in both regression and classification tasks compared to previous regularization approaches in our experiments across a wide range of network feedforward and recurrent topologies and data sets

A definition-by-example approach and visual language for activity patterns in engineering disciplines

Modeling tools are well established in software development. A model is the result of a series of modeling activities. The ability to recognize when a user is working on a certain modeling activity opens up a range of possibilities for context-sensitive support. One possible way to support the user is offering the auto-completion of the current task. The recognition of modeling activities is typically carried out by matching event patterns against events emitted by a user's editing operations. A user that intends to add or customize auto-completions must be able to easily understand and create activity definitions. However, defining the currently required complex event patterns is a challenging and error-prone task even for a person with an intensive knowledge of event-processing languages. In this paper, we propose the visual definition language VisPaRec accompanied by a method that allows creating activity definitions in a semi-automated and graphical way. We evaluate our visual definition language in a comparative user study against the generic event-processing language Rapide. We found that the proposed visual representation increases comprehensibility while reducing time for constructing and modifying activity definitions significantly

Privacy Preserving Federated Learning with Convolutional Variational Bottlenecks

Gradient inversion attacks are an ubiquitous threat in federated learning as they exploit gradient leakage to reconstruct supposedly private training data. Recent work has proposed to prevent gradient leakage without loss of model utility by incorporating a PRivacy EnhanCing mODulE (PRECODE) based on variational modeling. Without further analysis, it was shown that PRECODE successfully protects against gradient inversion attacks. In this paper, we make multiple contributions. First, we investigate the effect of PRECODE on gradient inversion attacks to reveal its underlying working principle. We show that variational modeling introduces stochasticity into the gradients of PRECODE and the subsequent layers in a neural network. The stochastic gradients of these layers prevent iterative gradient inversion attacks from converging. Second, we formulate an attack that disables the privacy preserving effect of PRECODE by purposefully omitting stochastic gradients during attack optimization. To preserve the privacy preserving effect of PRECODE, our analysis reveals that variational modeling must be placed early in the network. However, early placement of PRECODE is typically not feasible due to reduced model utility and the exploding number of additional model parameters. Therefore, as a third contribution, we propose a novel privacy module -- the Convolutional Variational Bottleneck (CVB) -- that can be placed early in a neural network without suffering from these drawbacks. We conduct an extensive empirical study on three seminal model architectures and six image classification datasets. We find that all architectures are susceptible to gradient leakage attacks, which can be prevented by our proposed CVB. Compared to PRECODE, we show that our novel privacy module requires fewer trainable parameters, and thus computational and communication costs, to effectively preserve privacy.Comment: 14 pages (12 figures 6 tables) + 6 pages supplementary materials (6 tables). Under review. This work has been submitted to the IEEE for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessible. arXiv admin note: substantial text overlap with arXiv:2208.0476

Synthese und biologische Testung von Biarylalkylcarbonsäure-Derivaten und Dithiocarbamat-Derivaten als potentielle anthelmintische Wirkstoffe gegen Schistosoma mansoni

Vernachlässigte Tropenerkrankungen beschreiben eine Gruppe von Infektionskrankheiten, welche mehr als 1,5 Milliarden Menschen betreffen und für schätzungsweise 550.000 Todesfälle pro Jahr verantwortlich sind. Ein enormer Teil dieser Erkrankungen wird durch Helminthen ausgelöst, wobei die durch Schistosoma spp. ausgelöste Schistosomiasis den größten Teil darstellt. Mit Praziquantel und Oxamniquin, welches nur gegen S. mansoni wirksam ist, stehen nur zwei Wirkstoffe zur Bekämpfung der Schistosomiasis zur Verfügung. Beide Wirkstoffe werden seit Jahrzehnten teils exzessiv eingesetzt. Erste Anzeichen für eine Resistenzentwicklung wurden bereits beobachtet. Die Entwicklung neuer antischistosomaler Wirkstoffe ist daher dringend notwendig. Basierend auf einer initial getesteten Serie wurde die Substanzklasse der Biarylalkylcarbonsäure Derivate als antischistosomale Wirkstoffe etabliert. In einer ersten Optimierungsserie wurde der Einfluss des Substitutionsmusters des terminalen Phenyl Rings untersucht, wobei die Einführung eines Hydroxy Substituenten in Position 3 des terminalen Phenyl Rings einen Anstieg der Aktivität zur Folge hatte. Neue phänotypische Effekte konnten beobachtet werden. In der zweiten Optimierungsserie wurde die Carbonsäure funktionalisiert. Die entsprechenden Carbonsäureamide zeigten eine gesteigerte antischistosomale Aktivität. Abschließend wurden die besten Substituenten jeder Serie miteinander kombiniert. Bis zu Konzentrationen von 25 µM kam es neben dem Auftreten mehrerer phänotypischer Effekte zu einem starken Anstieg der antischistosomalen Aktivität mit letalen Effekten. Die besten Derivate der Verbindungsklasse zeigen bis zu einer Konzentration von 10 µM eine deutliche antischistosomale Wirkung und weisen ein günstiges zytotoxisches Profil auf. Basierend auf der Grundstruktur des Disulfirams wurde die Substanzklasse der Dithiocarbamat Derivate als antischistosomale Wirkstoffe etabliert. Zunächst wurden Derivate mit veränderten Substituenten am Schwefel des Dithiocarbamats dargestellt. Dabei zeigte sich, dass vor allem die Einführung elektronenarmer, substituierter Benzylreste am Schwefel des Dithiocarbamats einen deutlichen Anstieg der antischistosomalen Aktivität zur Folge hatte. Es wurden insgesamt 73 Derivate dargestellt und in vitro getestet. Dabei wurden sieben Substituenten gefunden, deren Einführung eine Wirksamkeit bei einer Konzentration von 10 µM zur Folge hatte. Drei der besten sieben Derivate waren zudem bei 5 µM wirksam und somit der Wirksamkeit von Praziquantel ebenbürtig, wobei neuartige Phänotypen beobachtet wurden. Im Anschluss daran wurde der Einfluss des Substituenten am Stickstoff des Dithiocarbamats überprüft. Weitere 45 Derivate wurden dargestellt und in vitro getestet. Durch die Einführung eines (substituierten) Piperazin Strukturelements konnten neue Substitutionsmuster gefunden werden, deren Einführung ebenfalls einen Anstieg der antischistosomalen Aktivität zur Folge hatte. 49 kombinatorischen Derivate mit den jeweils sieben wirksamsten Substituenten am Schwefel beziehungsweise am Stickstoff des Dithiocarbamats wurden im Anschluss dargestellt und in vitro getestet. Sechs der 49 Verbindungen sind bei einer Konzentration von 5 µM aktiv und somit in vitro genauso wirksam wie Praziquantel. Ein Derivat zeigt auch bei einer Konzentration von 1 µM eine sehr gute antischistosomale Aktivität und ist somit um den Faktor 5 wirksamer als Praziquantel. In einer abschließenden Optimierungsserie wurden die antischistosomale Aktivität sowie das zytotoxische Profil der Substanzklasse der Dithiocarbamate weiter verbessert. Vor allem die Piperazinsulfonamid Derivate zeigen eine sehr gute antischistosomale Aktivität mit vielversprechenden Phänotypen. Zudem zeichnen die aufgetretenen letalen Effekte bei niedrigen mikromolaren Konzentrationen diese Substanzgruppe aus. Zwei der Sulfonamid Derivate sind ebenfalls um den Faktor 5 wirksamer als Praziquantel. Aus den über 300 dargestellten Dithiocarbamat Derivaten gingen 35 Verbindungen hervor, die bei einer Konzentration von 5 µM oder niedriger gut bis sehr gut wirksam waren und eine teils deutlich verbesserte antischistosomale Aktivität zeigten. Am Ende dieser Arbeit stellt eine Verbindung (Schl32329) das beste Derivat dieser Verbindungsklasse dar. Das Derivat zeigte bis zu einer Konzentration von 1 µM eine sehr gute antischistosomale Aktivität mit multiplen Phänotypen sowie einem letalen Effekt nach 72 Stunden. Zudem zeigte die Verbindung in beiden Zelllinien bei der höchsten gemessenen Konzentration von 100 µM keine zytotoxischen Effekte und weist damit einen Selektivitätsindex ≥ 100 auf. Die multiplen Effekte der Verbindungen lassen darauf schließen, dass eine Wirkung auf verschiedene Zielstrukturen anzunehmen ist. Zudem können beide Verbindungsklassen noch umfassend modifiziert werden, um weitere potentielle Wirkstoff Kandidaten für die Bekämpfung der Schistosomiasis bereit zu stellen

Deep security analysis of program code: a systematic literature review

Due to the continuous digitalization of our society, distributed and web-based applications become omnipresent and making them more secure gains paramount relevance. Deep learning (DL) and its representation learning approach are increasingly been proposed for program code analysis potentially providing a powerful means in making software systems less vulnerable. This systematic literature review (SLR) is aiming for a thorough analysis and comparison of 32 primary studies on DL-based vulnerability analysis of program code. We found a rich variety of proposed analysis approaches, code embeddings and network topologies. We discuss these techniques and alternatives in detail. By compiling commonalities and differences in the approaches, we identify the current state of research in this area and discuss future directions. We also provide an overview of publicly available datasets in order to foster a stronger benchmarking of approaches. This SLR provides an overview and starting point for researchers interested in deep vulnerability analysis on program code

SEOSS-Queries - a software engineering dataset for text-to-SQL and question answering tasks

Stakeholders of software development projects have various information needs for making rational decisions during their daily work. Satisfying these needs requires substantial knowledge of where and how the relevant information is stored and consumes valuable time that is often not available. Easing the need for this knowledge is an ideal text-to-SQL benchmark problem, a field where public datasets are scarce and needed. We propose the SEOSS-Queries dataset consisting of natural language utterances and accompanying SQL queries extracted from previous studies, software projects, issue tracking tools, and through expert surveys to cover a large variety of information need perspectives. Our dataset consists of 1,162 English utterances translating into 166 SQL queries; each query has four precise utterances and three more general ones. Furthermore, the dataset contains 393,086 labeled utterances extracted from issue tracker comments. We provide pre-trained SQLNet and RatSQL baseline models for benchmark comparisons, a replication package facilitating a seamless application, and discuss various other tasks that may be solved and evaluated using the dataset. The whole dataset with paraphrased natural language utterances and SQL queries is hosted at figshare.com/s/75ed49ef01ac2f83b3e2